Tháng 8 năm 1945, ông tham gia Ban lãnh đạo tổng khởi nghĩa. Sau Cách mạng tháng Tám 1945, ông được cử làm Bộ trưởng Bộ Quốc phòng Chính phủ lâm thời từ cuối tháng 8 năm 1945 đến ngày 2 tháng 3 năm 1946 [3]. Sau đó ông được cử là Phái viên của Chính phủ đi kiểm tra Khu 4.

Năm 1948, ông làm Khu trưởng Khu 4 rồi Chiến khu 1, Bí thư Khu ủy. Cùng năm này, ông được phong quân hàm Thiếu tướng cùng với 10 tướng lĩnh khác trong đợt phong hàm đầu tiên.

Từ năm 1949 đến năm 1954, ông làm Khu trưởng, Bí thư khu ủy Liên khu Việt Bắc, Chánh án Tòa án Quân sự, Chủ tịch Ủy ban kháng chiến hành chính Liên khu Việt Bắc. Từ năm 1954 đến cuối năm 1956, ông làm Tư lệnh kiêm Chính ủy, Bí thư quân khu ủy Liên khu Việt Bắc. Từ năm 1957 đến cuối năm 1975, ông làm Chính ủy, Bí thư khu ủy Quân khu Việt Bắc, Chủ tịch Ủy ban hành chính Khu tự trị Việt Bắc. Ngày 31 tháng 8 năm 1959, ông được thăng quân hàm vượt cấp từ Thiếu tướng lên Thượng tướng và là một trong hai Thượng tướng lúc bấy giờ.[4]

Ông được bầu làm Phó Chủ tịch Quốc hội từ khóa III đến khóa V, Tổng Thư ký Ủy ban Thường vụ Quốc hội khóa V;[5] Ủy viên Đoàn Chủ tịch Ủy ban Trung ương Mặt trận Tổ quốc Việt Nam. Ông cũng là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam các khóa I, II và III;[6] đại biểu Quốc hội từ khóa II đến khóa V.